Nhiều tháng trước khi diễn ra IPhO đầu tiên vào năm 1967, lời mời đã được gửi tới tất cả các nước Trung Âu. Lời mời được chấp nhận bởi Bulgaria, Tiệp Khắc, Hungary và România (năm nước gồm Ba Lan, nhà tổ chức kỳ thi). Mỗi đội gồm có ba học sinh trung học và kèm theo một giám sát viên. kỳ thi được sắp xếp diễn ra cùng với giai đoạn cuối Olympic Vật lý Ba Lan: một ngày dành cho các bài toán lý thuyết và một ngày thực hiện một thí nghiệm. Một sự khác biệt rõ ràng là những thí sinh đã phải chờ cho đến khi các script được đánh dấu xong. Trong thời gian chờ đợi ban tổ chức đã bố trí hai chuyến tham quan bằng máy bay đến Krak và Gdańsk. Tại IPhO lần đầu tiên này các thí sinh phải giải quyết bốn bài toán lý thuyết và một bài toán thực nghiệm.

Olympic lần thứ hai được tổ chức bởi Giáo sư Rezső Kunfalvi ở Budapest, Hungary, vào năm 1968. Tám quốc gia đã tham gia kỳ thi đó. Cộng hòa dân chủ Đức, Liên bang Xô Viết và Nam Tư đã tham dự. Một lần nữa, mỗi nước được đại diện bởi ba học sinh trung học và một giám sát viên. Trước IPhO lần thứ hai không lâu, một phiên bản sơ bộ Điều lệ và Chương trình (tiếng Anh: Syllabus = Chương trình học, khóa học, hay kế hoạch) đã được soạn thảo. Sau đó những tài liệu này đã được chấp nhận chính thức bởi Hội đồng quốc tế bao gồm các giám sát viên của các đoàn tham gia kỳ thi. Việc này đã diễn ra trong một cuộc họp đặc biệt tổ chức tại Brno, Tiệp Khắc, nhiều tháng sau khi IPhO lần thứ hai được tổ chức.

IPhO lần ba được sắp xếp bởi Giáo sư Rostislav Kostial ở Brno, Tiệp Khắc, vào năm1969. Lần này mỗi đội bao gồm năm học sinh và hai giám sát viên. kỳ thi ở Brno được tổ chức tuân theo Điều lệ chính thức đã được công nhận trước đó.

Olympic tiếp theo được tổ chức ở Moskva, Liên bang Xô Viết, vào năm 1970. Mỗi quốc gia được đại diện bởi sáu học sinh và hai giám sát viên. Trong suốt Olympic lần này nhiều thay đổi nhỏ được đưa vào Điều lệ.

Từ IPhO lần thứ năm được tổ chức ở Sofia, Bulgaria, vào năm 1971, mỗi đội bao gồm năm học sinh và hai giám sát viên. Vào năm 1978 và năm 1980, IPhO không được tổ chức. Điều này là do sự gia nhập của các nước phương Tây mà đầu tiên là Pháp.[1] Ban đầu, các nước phương Tây tham dự đã từ chối chấp nhận nguyên tắc IPhO được tổ chức hai năm một lần tại một quốc gia khối phương Đông và phương Tây. Vì vậy, các nước thuộc khối phương Đông đã từ chối tổ chức Olympic các năm 1978 và 1980. Từ năm 1982 trở đi, kỳ thi Olympic hàng năm đã được khôi phục vì có các nước phương Tây tham gia đủ để chia sẻ gánh nặng. Hiện nay, các địa điểm tổ chức Olympic sẽ được quyết định cho năm kế tiếp. Sau khi gia nhập vào IPhO, mỗi quốc gia phải thông báo cho những thành viên khác trong vòng ba năm về sự sẵn sàng làm chủ nhà tổ chức IPhO của mình. Sau đó, quốc gia này sẽ được xếp vào danh sách chờ, mà danh sách này rất dài (vào thời điểm năm 2006 đã trải dài tới thập niên 2050). Việc tổ chức Olympic IPhO thất bại của một nước khi đến lượt mình sẽ dẫn tới việc nước đó bị trục xuất tạm thời ra khỏi IPhO. Điều này đã từng xảy ra với Pháp vào năm 1986.